In this work, we give efficient algorithms for privately estimating a Gaussian distribution in both pure and approximate differential privacy (DP) models with optimal dependence on the dimension in the sample complexity. In the pure DP setting, we give an efficient algorithm that estimates an unknown $d$-dimensional Gaussian distribution up to an arbitrary tiny total variation error using $\widetilde{O}(d^2 \log \kappa)$ samples while tolerating a constant fraction of adversarial outliers. Here, $\kappa$ is the condition number of the target covariance matrix. The sample bound matches best non-private estimators in the dependence on the dimension (up to a polylogarithmic factor). We prove a new lower bound on differentially private covariance estimation to show that the dependence on the condition number $\kappa$ in the above sample bound is also tight. Prior to our work, only identifiability results (yielding inefficient super-polynomial time algorithms) were known for the problem. In the approximate DP setting, we give an efficient algorithm to estimate an unknown Gaussian distribution up to an arbitrarily tiny total variation error using $\widetilde{O}(d^2)$ samples while tolerating a constant fraction of adversarial outliers. Prior to our work, all efficient approximate DP algorithms incurred a super-quadratic sample cost or were not outlier-robust. For the special case of mean estimation, our algorithm achieves the optimal sample complexity of $\widetilde O(d)$, improving on a $\widetilde O(d^{1.5})$ bound from prior work. Our pure DP algorithm relies on a recursive private preconditioning subroutine that utilizes the recent work on private mean estimation [Hopkins et al., 2022]. Our approximate DP algorithms are based on a substantial upgrade of the method of stabilizing convex relaxations introduced in [Kothari et al., 2022].
translated by 谷歌翻译
数据异构联合学习(FL)系统遭受了两个重要的收敛误差来源:1)客户漂移错误是由于在客户端执行多个局部优化步骤而引起的,以及2)部分客户参与错误,这是一个事实,仅一小部分子集边缘客户参加每轮培训。我们发现其中,只有前者在文献中受到了极大的关注。为了解决这个问题,我们提出了FedVarp,这是在服务器上应用的一种新颖的差异算法,它消除了由于部分客户参与而导致的错误。为此,服务器只是将每个客户端的最新更新保持在内存中,并将其用作每回合中非参与客户的替代更新。此外,为了减轻服务器上的内存需求,我们提出了一种新颖的基于聚类的方差降低算法clusterfedvarp。与以前提出的方法不同,FedVarp和ClusterFedVarp均不需要在客户端上进行其他计算或其他优化参数的通信。通过广泛的实验,我们表明FedVarp优于最先进的方法,而ClusterFedVarp实现了与FedVarp相当的性能,并且记忆要求较少。
translated by 谷歌翻译
由于众所周知,强化学习算法是数据密集型的,因此从环境中进行采样观测的任务通常在多个代理之间分配。但是,将这些观察结果从代理转移到中心位置可能会非常昂贵,并且还可以损害每个代理人本地行为政策的隐私。在本文中,我们考虑了一个联合加强学习框架,其中多个代理商协作学习了一个全球模型,而无需共享他们的个人数据和政策。每个代理都维护模型的本地副本,并使用本地采样数据对其进行更新。尽管具有n个代理可以启用n次数据的采样,但尚不清楚它是否导致比例收敛的加速。我们提出了联合版本的On-Policy TD,Off-Policy TD和Q学习,并分析其收敛性。对于所有这些算法,据我们所知,我们是第一个考虑马尔可夫噪声和多个局部更新的人,并证明相对于代理的数量是线性收敛的速度。为了获得这些结果,我们表明联邦TD和Q学习是与马尔可夫噪声联合随机近似的一般框架的特殊情况,并且我们利用该框架提供了适用于所有算法的统一收敛分析。
translated by 谷歌翻译
这项研究提出了一种从Schlieren图像中提取定量信息的根本替代方法。该方法使用缩放的,衍生的增强的高斯工艺模型,从水平和垂直方向上的刀边缘从两个相应的Schlieren图像中获得真实的密度估计。我们说明了我们从风洞刺激模型,飞行中的超音速飞机和高阶数值冲击管模拟拍摄的Schlieren图像的方法。
translated by 谷歌翻译
近期目睹了机器学习算法系统的快速发展,尤其是加强学习,自然语言处理,计算机和机器人视觉,图像处理,语音和情感处理和理解。凭借机器学习模型,算法及其应用的越来越重要和相关性,并且随着更多创新使用的深度学习和人工智能的情况,目前的体积呈现出一些创新研究工作及其在现实世界中的应用,如股票交易,医疗和医疗保健系统和软件自动化。本书中的章节说明了如何设计,优化和部署机器学习和深度学习算法和模型。该体积对于高级毕业生和博士生,研究人员,大学教师,练习数据科学家和数据工程师,专业人士和顾问以及在机器学习,深度学习和人工智能的广泛领域。
translated by 谷歌翻译
具有转换数据分布的环境中的持续学习是具有若干现实世界的挑战性问题。在本文中,我们考虑数据分布(任务)突然移位的设置,并且不知道这些班次的定时。此外,我们考虑一个半监督任务 - 不可行的设计,其中学习算法可以访问任务分段和未分段数据以进行离线培训。我们提出一种称为BasisiSodels(MOB)混合的新方法,用于解决这个问题设置。核心思想是学习一小一小部分模型,并构建模型的动态,任务依赖性混合模型,以预测当前的任务。我们还提出了一种新方法来检测与现有基础模型不分配的观察结果,并根据需要实例化新模型。我们在多个域中测试我们的方法,并表明它在大多数情况下使用比其他多种模型方法更少的模型在大多数情况下比现有方法更好地预测误差。此外,我们分析了Mob学习的潜在任务表示,并显示类似的任务倾向于在潜在空间中群集,并且当任务不一样,潜在的代表在任务边界处移动。
translated by 谷歌翻译
由于元学习策略的成功,几次对象检测迅速进展。然而,现有方法中的微调阶段的要求是时间分子,并且显着阻碍了其在实时应用中的使用,例如对低功耗机器人的自主勘探。为了解决这个问题,我们展示了一个全新的架构,Airdet,它通过学习级别与支持图像的无政府主义关系没有微调。具体地,我们提出了一种支持引导的串级(SCS)特征融合网络来生成对象提案,用于拍摄聚合的全局本地关系网络(GLR),以及基于关系的基本嵌入网络(R-PEN),用于精确本土化。令人惊讶的是,在Coco和Pascal VOC数据集上进行详尽的实验,旨在达到比详尽的Fineetuned方法相当或更好的结果,达到基线的提高高达40-60%。为了我们的兴奋,Airdet在多尺度对象,尤其是小型物体上获得有利性能。此外,我们提出了来自DARPA地下挑战的实际勘探测试的评估结果,这强烈验证了机器人中AIRDET的可行性。将公开源代码,预先训练的模型以及真实世界的勘探数据。
translated by 谷歌翻译
At the foundation of scientific evaluation is the labor-intensive process of peer review. This critical task requires participants to consume vast amounts of highly technical text. Prior work has annotated different aspects of review argumentation, but discourse relations between reviews and rebuttals have yet to be examined. We present DISAPERE, a labeled dataset of 20k sentences contained in 506 review-rebuttal pairs in English, annotated by experts. DISAPERE synthesizes label sets from prior work and extends them to include fine-grained annotation of the rebuttal sentences, characterizing their context in the review and the authors' stance towards review arguments. Further, we annotate every review and rebuttal sentence. We show that discourse cues from rebuttals can shed light on the quality and interpretation of reviews. Further, an understanding of the argumentative strategies employed by the reviewers and authors provides useful signal for area chairs and other decision makers.
translated by 谷歌翻译